Ông kết hôn năm lần. Vợ ông vào thời điểm ông qua đời vào năm 1969 là bà Vương Quang Mỹ, bị Mao Trạch Đông ném vào tù trong Cách mạng Văn hóa; bà đã phải chịu những điều kiện khắc nghiệt trong sự giam cầm cô độc trong hơn một thập kỷ.

Ông có chín người con, nổi bật là con trai Lưu Nguyên giữ chức thượng tướng quân đội.